Small Data Science for Russian Adventurers

#конференция
Недавно закончилась предварительная оценка работ, поданных на ICLR 2023. Ниже статьи, которые набрали наибольшее количество баллов:

Раздел Deep Learning and representational learning (оценки 10;8;8)
Git Re-Basin: Merging Models modulo Permutation Symmetries
Действительно классная работа! Центральный вопрос: почему в нейронках SGD так хорош? Основной вывод: при оптимизации нейронок есть только одна область минимума, куда приводит SGD, если учесть симметрии нейронок. Вообще, интересно про связь симметрии и ML.
Rethinking the Expressive Power of GNNs via Graph Biconnectivity
Исследуется свойство двусвязанности графов (в статье довольно много математики из теории графов), как следствие предлагается Graphormer-GD - новая архитектура GNN, которая показала себя лучше предшественников на тестовых задачах.

Раздел Reinforcement Learning (оценки 8;8;8;10)
Emergence of Maps in the Memories of Blind Navigation Agents
Показывают, что "слепые агенты" неплохо справляются с задачами навигации. При этом неявно они всё-таки создают "карту окружения". Очень красивая идея!
DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems
Предлагают эффективный метод обучения для "скелетно-мышечных моделей". Вроде как до этого такие модели не слишком хорошо обучались...

Раздел Applications (оценки 10;8;6;10)
Revisiting the Entropy Semiring for Neural Speech Recognition
Тут смесь ML и алгебры (причём абстрактной алгебры): рассматривается полукольцо, которое возникает в задачах распознавания речи. Показано, как функции ошибки можно трактовать в терминах полуколец. Работа доведена до численных экспериментов.

Раздел Theory (оценки 8;10;10;5)
Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
Новая теория ансамблирования! По мнению авторов, первая в DL...

Раздел General Machine Learning (оценки 8;8;8)
Learning a Data-Driven Policy Network for Pre-Training Automated Feature Engineering
Автоматическая генерация признаков на основе RL. Показывают, как улучшается качество для LogReg, RF, XGBoost.
Targeted Hyperparameter Optimization with Lexicographic Preferences Over Multiple Objectives
Рассматривается многокритериальная оптимизация гиперпараметров с порядком приоритета критериев. Новый метод оптимизации опробован для Xgboost, RF и NN.

Раздел Probabilistic Methods (оценки 8;8;8)
Fast Nonlinear Vector Quantile Regression
Обобщение квантильной регрессии, написали свой GPU-солвер.
Scaling Up Probabilistic Circuits by Latent Variable Distillation
Предложена техника для применения Probabilistic Circuits на больших данных.

Раздел Optimization (оценки 8;8;8)
FedExP: Speeding up Federated Averaging via Extrapolation
Метод эффективного федеративного обучения

Раздел Social Aspects of Machine Learning (оценки 8;8;8)
Confidential-PROFITT: Confidential PROof of FaIr Training of Trees
Рассматривается проблема fair-обучения решающих деревьев. Предложенный подход не зависит от выбора тестов и не требует представления данных и модели проверяющему.

Раздел Generative models (оценки 8;8;8)
DreamFusion: Text-to-3D using 2D Diffusion
Синтез text-to-3D. При этом используются модели 2D-синтеза, не нужны 3D-данные.

👍91

www.tg-me.com/cn/Small Data Science for Russian Adventurers/com.smalldatascience/868

10.7K viewsedited  Nov 8, 2022 at 13:35

#конференция
Недавно закончилась предварительная оценка работ, поданных на ICLR 2023. Ниже статьи, которые набрали наибольшее количество баллов:

Раздел Deep Learning and representational learning (оценки 10;8;8)
Git Re-Basin: Merging Models modulo Permutation Symmetries
Действительно классная работа! Центральный вопрос: почему в нейронках SGD так хорош? Основной вывод: при оптимизации нейронок есть только одна область минимума, куда приводит SGD, если учесть симметрии нейронок. Вообще, интересно про связь симметрии и ML.
Rethinking the Expressive Power of GNNs via Graph Biconnectivity
Исследуется свойство двусвязанности графов (в статье довольно много математики из теории графов), как следствие предлагается Graphormer-GD - новая архитектура GNN, которая показала себя лучше предшественников на тестовых задачах.

Раздел Reinforcement Learning (оценки 8;8;8;10)
Emergence of Maps in the Memories of Blind Navigation Agents
Показывают, что "слепые агенты" неплохо справляются с задачами навигации. При этом неявно они всё-таки создают "карту окружения". Очень красивая идея!
DEP-RL: Embodied Exploration for Reinforcement Learning in Overactuated and Musculoskeletal Systems
Предлагают эффективный метод обучения для "скелетно-мышечных моделей". Вроде как до этого такие модели не слишком хорошо обучались...

Раздел Applications (оценки 10;8;6;10)
Revisiting the Entropy Semiring for Neural Speech Recognition
Тут смесь ML и алгебры (причём абстрактной алгебры): рассматривается полукольцо, которое возникает в задачах распознавания речи. Показано, как функции ошибки можно трактовать в терминах полуколец. Работа доведена до численных экспериментов.

Раздел Theory (оценки 8;10;10;5)
Understanding Ensemble, Knowledge Distillation and Self-Distillation in Deep Learning
Новая теория ансамблирования! По мнению авторов, первая в DL...

Раздел General Machine Learning (оценки 8;8;8)
Learning a Data-Driven Policy Network for Pre-Training Automated Feature Engineering
Автоматическая генерация признаков на основе RL. Показывают, как улучшается качество для LogReg, RF, XGBoost.
Targeted Hyperparameter Optimization with Lexicographic Preferences Over Multiple Objectives
Рассматривается многокритериальная оптимизация гиперпараметров с порядком приоритета критериев. Новый метод оптимизации опробован для Xgboost, RF и NN.

Раздел Probabilistic Methods (оценки 8;8;8)
Fast Nonlinear Vector Quantile Regression
Обобщение квантильной регрессии, написали свой GPU-солвер.
Scaling Up Probabilistic Circuits by Latent Variable Distillation
Предложена техника для применения Probabilistic Circuits на больших данных.

Раздел Optimization (оценки 8;8;8)
FedExP: Speeding up Federated Averaging via Extrapolation
Метод эффективного федеративного обучения

Раздел Social Aspects of Machine Learning (оценки 8;8;8)
Confidential-PROFITT: Confidential PROof of FaIr Training of Trees
Рассматривается проблема fair-обучения решающих деревьев. Предложенный подход не зависит от выбора тестов и не требует представления данных и модели проверяющему.

Раздел Generative models (оценки 8;8;8)
DreamFusion: Text-to-3D using 2D Diffusion
Синтез text-to-3D. При этом используются модели 2D-синтеза, не нужны 3D-данные.

BY Small Data Science for Russian Adventurers